Chúng ta đang vượt qua giới hạn của các mô hình tuyến tính, những mô hình gặp khó khăn khi phân loại dữ liệu không thể tách biệt bằng một đường thẳng. Hôm nay, chúng ta áp dụng quy trình PyTorch để xây dựng một Mạng nơ-ron sâu (DNN) có khả năng học được các ranh giới quyết định phức tạp, phi tuyến tínhrất quan trọng cho các nhiệm vụ phân loại trong thế giới thực.
1. Hình dung Sự Cần thiết của Dữ liệu Phi tuyến tính
Bước đầu tiên của chúng ta là tạo ra một bộ dữ liệu tổng hợp thách thức, chẳng hạn như phân bố hai vòng trăng, để minh họa trực quan lý do tại sao các mô hình tuyến tính đơn giản lại thất bại. Cấu hình này buộc chúng ta phải sử dụng các kiến trúc sâu để xấp xỉ đường cong phức tạp cần thiết nhằm tách biệt các lớp.
Tính chất Dữ liệu
- Cấu trúc Dữ liệu:Đặc trưng dữ liệu tổng hợp (ví dụ: $1000 \times 2$ cho $1000$ mẫu với 2 đặc trưng).
- Loại Đầu ra:Một giá trị xác suất duy nhất, thường là
torch.float32, đại diện cho sự tham gia vào lớp. - Mục tiêu:Để tạo ra một ranh giới quyết định congthông qua tính toán theo tầng.
Sức mạnh của Các Hàm Kích hoạt Phi tuyến tính
Nguyên lý cốt lõi của DNN là việc giới thiệu tính phi tuyến tính ở các lớp ẩn thông qua các hàm như ReLU. Không có chúng, việc chồng các lớp sẽ chỉ dẫn đến một mô hình tuyến tính lớn, bất kể độ sâu.
THƯƠNG ĐÀIbash — môi trường phân loại
> Đã sẵn sàng. Nhấn "Chạy" để thực thi.
>
KIỂM TRA TEN-SƠRTrực tiếp
Chạy mã để kiểm tra các ten-sơr đang hoạt động
Câu hỏi 1
Mục đích chính của hàm kích hoạt ReLU trong một lớp ẩn là gì?
Câu hỏi 2
Hàm kích hoạt nào là bắt buộc trong phần đầu ralớp đối với một bài toán phân loại nhị phân?
Câu hỏi 3
Hàm tổn thất nào tương ứng trực tiếp với bài toán phân loại nhị phân sử dụng đầu ra Sigmoid?
Thử thách: Thiết kế Kiến trúc Chính
Tích hợp các thành phần kiến trúc cho học tập phi tuyến tính.
Bạn phải xây dựng một
nn.Module cho bài toán hai vòng trăng. Đặc trưng đầu vào: 2. Số lớp đầu ra: 1 (xác suất).
Bước 1
Mô tả luồng tính toán cho một lớp ẩn duy nhất trong DNN này.
Lời giải:
Đầu vào $\to$ Lớp tuyến tính (Ma trận trọng số) $\to$ Kích hoạt ReLU $\to$ Đầu ra sang lớp tiếp theo.
Đầu vào $\to$ Lớp tuyến tính (Ma trận trọng số) $\to$ Kích hoạt ReLU $\to$ Đầu ra sang lớp tiếp theo.
Bước 2
Kích thước lớp cuối phải là bao nhiêu nếu hình dạng đầu vào là $(N, 2)$ và chúng ta sử dụng hàm tổn thất BCE?
Lời giải:
Lớp đầu ra phải có kích thước $(N, 1)$ để tạo ra một điểm số xác suất duy nhất cho mỗi mẫu, phù hợp với hình dạng nhãn.
Lớp đầu ra phải có kích thước $(N, 1)$ để tạo ra một điểm số xác suất duy nhất cho mỗi mẫu, phù hợp với hình dạng nhãn.